Dar la castaña es molestar a otro o fastidiarle, el uso debe venir de la utilización de las castañas o mejor aún castañuelas hechas de la madera del castaño con las que se puede hacer un ruido bastante desagradable.